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Reussite technique, I’informatisation des ECN s'est imposee avec les epreuves de 2016. 
Que, des cette edition, ait ete verifie le fait que des epreuves induisent 
les strategies d'apprentissage impose des pistes d'amelioration qualitatives. 


La docimologie des ECNi doit etre 
amelioree pour repondre aux objectifs de 
formation du 2^ cycie des etudes medicaies 


U ne analyse docimologique des epreuves clas- 
santes nationales informatisees (ECNi) 
telles qu’elles se sent deroulees pour la pre- 
miere fois est justifiee pour apprecier leur 
qualite, leur adequation aux objectifs du T cycle^ et du 
projet SIDES, 2 pour proposer des voies d’amelioration, 
et pour ebaucher une reflexion sur la place de leur pre- 
paration dans le 2® cycle des etudes medicaies. 

De 2004 a 2015, le principe des ECN reposait sur la 
redaction de reponses a des questions liees a des cas 
cliniques. Malgre son interet, ce systeme evitait diffici- 
lement qu’apres lecture de toutes les questions I’etu- 
diant trouve dans les dernieres les reponses aux pre- 
mieres. L’informatisation, donnant une realite a la 
progressivite dans le dossier clinique, a change la 
donne. Permettant aux etudiants de composer dans 
leurs facultes et automat isant les corrections, elle a re- 
duit le cout humain et materiel des epreuves et de leur 
correction devenu insupportable. Le succes des ECNi 
tient a la fluidite de leur deroulement et a la rapidite de 
la publication des resultats. 

Pour leur premiere edition, les ECNi comportaient 
5 epreuves de 417 « questions a reponses multiples » 
(QRM) : une de 120 questions isolees (QI), trois series de 
dossiers cliniques progresses (DCP), soit au total 
18 dossiers avec chacun 14 a 15 questions, et une 
epreuve de lecture critique portant sur deux articles 
(LCA) associes chacun a 15 questions. 

Quatre points emergent de I’analyse docimologique 
de ces epreuves par des enseignants de Bordeaux, ex- 
perts dans la redaction des questions et dont certains 
sont membres du Conseil scientifique des concours 
d’internat (CSCI) et, a ce titre, impliques dans la prepa- 
ration des etudiants aux ECNi : des imprecisions re- 
dact ionnelles, la pertinence des questions, le niveau 
cognitif sollicite, le champ explore par rapport aux ob- 
jectifs de I’arrete du 13 avril 2013.^ 


Deux imprecisions corrigeables 

Deux imprecisions dans la redaction des questions ont 
cree des difficultes aux etudiants. Toutes les questions 
etaient etiquetees « Question a reponses multiples » ; 
mais si pour la plupart leur formulation explicitait leur 
type, QRM ou QRU, pour beaucoup le type de reponse 
attendu n’etait pas precise, ce qui a pu mettre les etu- 
diants en difficulte ; ce fut le cas de 31 % des 120 QI, et de 
plusieurs questions de 14 DCP (6 dossiers avaient 

3 questions ou plus qui etaient ambigues). Propre aux 
DCP, une imprecision etait le non-respect de la regie 
« Le dossier se devoile progressivement . . . L’etudiant est d 
chaque question remis sur la bonne voie » f cela concer- 
nait 1 ou 2 questions dans 8 DCP, et 3 questions dans 

4 DCP. Seuls 3 DCP etaient parfaitement construits vis- 
a-vis de cette regie, 11 dossiers contenaient deux impre- 
cisions et 4 Tune ou I’autre. Un classement des dossiers 
selon leur difficulte, a partir des notes obtenues par les 
etudiants bordelais, a permis de distinguer 11 dossiers 
groupes (moyennes comprises entre 305 et 272), de 
6 autres dossiers aux moyennes comprises entre 255 et 
196 : il y a moins de questions imprecises dans le pre- 
mier groupe (p = 0,10). 

D’amelioration parait simple a mettre en oeuvre. 
Les redacteurs doivent etre plus vigilants pour eviter 
ces imprecisions et les relecteurs doivent y consacrer 
un temps specifique pour les traquer. 

La pertinence pas toujours 
au rendez-vous 

En prenant comme criteres la clarte redactionnelle, I’ade- 
quation au contenu des referentiels, la congruence aux 
objectifs du 2® cycle des etudes medicaies, 79 % des ques- 
tions etaient pertinentes, centre 21 % qui ne I’etaient pas. 

Les redacteurs de dossiers de notre groupe ont ex- 
periments la difficulte a concevoir 15 questions perti- 
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ETUDE DU RAISONNEMENT 


CLINIQUE PAR DES QRM 


« Quelles sont vos hypotheses diagnostiques ? Quettes 
investigations aiiez-vous engager ? Quei traitement 
proposez-vous ? » Posees a propos d’un cas clinique, 
ces questions evaluent le resultat d’un raisonnennent 
Mais chacune, connpletee d’une injonction connnne 
« argumentez, justifiez, oommentez, expiiquez », 
pernnet d’analyser un raisonnennent proprennent dit. 
Deux oonditions doivent etre respeotees pour 
permettre a des questions a ohoix de reponses 
multiples (QRM) d’explorer le resultat d’un 
raisonnement ou le raisonnement lui-meme a 
propos d’un cas clinique, sans cependant atteindre 
la pertinence de questions ouvertes appelant une 
reponse spontaneed La premiere est de fournir 
suffisamment de donnees pour qu’il y ait matiere a 
reflexion, ce qui implique que le texte exposant le 
cas ait une certaine longueur et apporte, comme 
dans la realite, des donnees a prendre en compte 
et d’autres sans interet, La seconds condition, liee 
a la precedents, est de laisser aux etudiants le 
temps necessaire a la lecture d’un long texte et au 
raisonnement. 

Des QRM avec en libelle ou ohoix de propositions 
des images, des cycles, des protocoles, des QRM 
necessitant des calculs peuvent necessiter plus de 
deux minutes de reflexion, On peut aussi fairs 
appel a deux types de QRM moins connues : les 
QRM sans leurre et les QRM evaluatives, 

Questions a reponses multiples 
sans leurre 

En general, dans un dossier clinique progressif, les 
premieres questions portent sur les hypotheses 
diagnostiques, Le principe d’une QRM sans leurre 
est que les donnees exposees dans la presentation 


du cas vont constituer des propositions a choisir 
pour plusieurs questions, Les donnees peuvent etre 
reprises dans une liste apres leur presentation, 
mais elles peuvent aussi etre d’emblee affectees 
des etiquettes A, B, etc. Pour que la QRM soit 
riche, elle doit comporter plus de 5 propositions, 
Void le detail de la modalite ou les donnees 
initiales sont d’emhiee affectees d’etiquettes : 
LMe iMme L... 

A. agee de... 

B. a depuis. . . 

C. ies symptdmes si s2, s3 

D. et ies symptdmes s3, s4 

[. a i’examen on reieve ies signes Sel Se2, Se3 
F. en revanohe iin’y a pas ies signes Se3 et Se4 
Eto. 

Question 1. Quei ies propositions sont en faveur de 
i’hypothese HI ? 

Question 2. Quei ies propositions sont en faveur de 
i’hypothese H2 ? 

Question 3. Queiie proposition fait eoarter 
i’hypothese H3 ? 

Eto. 

Des QRM sans leurre sont aussi appropriees pour 
analyser un raisonnement apres I’apport de 
nouvelles donnees d’interrogatoire ou d’examen 
clinique, ou apres la presentation des resultats 
d’un bilan biologique. 

Questions a reponse unique evaluatives 

De telles QRU figurent dans I’ouvrage de Bloom de 
1956,^ Leur utilisation dans les tests de 
concordance de scripts (TCS) entre experts et 
novices en a fait oublier leur interet a propos de 
situations simples ou les reponses sont 


consensuelles, cas des questions aux ECNi. 

Prenons I’exemple d’un probleme diagnostique, 

Un cas clinique est expose a I’etudiant et on lui 
propose de reflechir sur une ou plusieurs 
hypotheses en se pronongant sur la valeur de 
I’apport de donnees, presentees une a une ; il 
exprime son avis au travers d’une QRU dont le 
ohoix de reponses est une echelle de jugement. 

La donnee est : 

A. tres en faveur de i’hypothese 

B. piutdt en faveur de i’hypothese 

C. neutre 

D. piutdt oontre i’hypothese 
E exoiut i’hypothese. 

A noter qu’il n’y a pas de leurre dans ce type de QRU, 

Enfin, pour privilegier la reflexion a la 
memorisation, les tablettes mises a la disposition 
des etudiants pourraient contenir des ressources 
(Diotionnaire Vidai, abaques, calculette, etc,), II y a 
des domaines ou les etudiants ont acces a des 
ressources au cours des epreuves et I’experience 
montre que seuls les etudiants ayant peu de 
connaissances passent du temps a se documenter 
sans pour cela repondre correctement, alors que 
ceux maitrisant leur sujet se limitent a de simples 
verifications. 
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nentes dans un DCR Pour les epreuves de 2016, les re- 
dacteurs des dossiers des ECNi semblent avoir recouru 
a deux strategies pour atteindre le plafond preconise de 
15 questions par dossier. La premiere, choix de 15 re- 
dacteurs, fut d’etendre le concept « dossier progressif » 
en creant pour un meme patient plusieurs episodes pa- 
thologiques eloignes dans le temps, 2 redacteurs allant 
jusqu’a en concevoir I’un 4 et I’autre 6. La seconde stra- 
tegie a ete de completer par des questions moins perti- 
nentes ; I’analyse montre que 84 % des questions 1 a 10 
etaient pertinentes contre 73 % des questions 11 a 15 
(difference significative p = 0,03). 

Memoire contre raisonnement 

Enfin, le niveau cognitif sollicite n’a pas ete assez exi- 
geant. Dans les QI et les DCP, 50 % des questions n’ont 


fait appel qu’a la memoire, 41 % a une breve reflexion 
pour ecarter des leur res simples et 9 % seulement im- 
posaient un vrai raisonnement. 

Sur ces deux derniers points, une piste d’ameliora- 
tion consisterait en des adaptations simples : generali- 
sation de mini-vignettes cliniques^ dans les QI (seule- 
ment 16 sur les 120) ; limitation a 10 au plus du nombre 
de questions des DCP, compensee par I’ajout de 6 dos- 
siers ; recours a des types de QRM demandant un rai- 
sonnement plus approfondi (v. encadre). 

Des competences non evaluees 
par les ECNi 

Le champ d’ investigation des ECNi a porte sur 23 disci- 
plines cliniques. Les objectifs definis par I’arrete du 
8 avril 2013^ sont « Vacquisition de connaissances »> 
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relatives aux processus physiopathologiques, d la patho- 
logie, aux bases therapeutiques et a la prevention . . . ; une 
formation a la demarche scientifique ; Vapprentissage du 
raisonnement clinique ; Vacquisition des competences g& 
neriques preparant au 3^ cycle des etudes medicates » ; 
competences qui sont « communicateur, clinicien, coope- 
rateur, membre d’une equipe soignante pluriprofession- 
nelle, acteur de sante publique, scientifique et respon- 
sable au plan ethique et deontologique », et d’etre un 
praticien reflexif. Dans les ECNi, la competence « clini- 
cien » fut sollicitee dans tons les DCP et dans 78 % des 
QL Intriquees, les competences « acteur de sante pu- 
blique » et « responsable au plan ethique et deontolo- 
gique » le furent dans 6 DCP et 8 QL Mais il n’y eut pas 
de question sur les competences « communicateur, coo- 
perateur, membre d’une equipe soignante pluriprofes- 
sionnelle ». La competence « scientifique » a ete surtout 
jugee dans les epreuves de LCA ou la moitie des ques- 
tions faisaient appel aux connaissances en methodolo- 
gie et I’autre moitie au raisonnement. II y eut tres peu 
de questions fondamentales (5 d’anatomie, 7 de physio- 
logie ou physiopathologie, 2 de pharmacologie et 1 de 
microbiologie) dans les DCP ou les QL 

UN COMPLEMENT INDISPENSABLE ; LE CERTIFICAT 
DE COMPETENCES CLINIQUES 

En conclusion, QI et DCP ont sollicite chez les etu- 
diants surtout la memoire ou I’attention suffisante 
pour ecarter des leurres simples. Si 80 % des questions 
ont ete pertinentes, 20 % ne I’etaient pas ; les questions 
11 a 15 des DCP ont ete mo ins pertinentes que celles de 


1 a 10. Seules les competences de « clinicien », « acteur 
de sante publique », « responsable au plan ethique et 
deontologique » ont ete evaluees, avec la limitation, in- 
herente a toute epreuve ecrite, de ne tester que les 
connaissances et intentions de comportement. La com- 
petence « scientifique » n’a ete sendee que par la LCA. 

Instruits des modalites des ECNi, les etudiants de- 
sireux d’etre bien classes vont s’acharner a acquerir 
un savoir encyclopedique sur les plateformes d’entrai- 
nement et dans les ouvrages de QRM, y passant un 
temps qui empietera sur celui de la formation sur le 
terrain. II est important et urgent que les facultes 
luttent centre cette immersion de la pensee etudiante 
dans les QRM, et insistent sur le developpement et 
I’harmonisation nationale du certificat de competences 
cliniques, seul moyen d’e valuer adequatement les com- 
petences generiques, difficilement evaluables par des 
QRM, dont celle de clinicien, essentielle a ce stade. © 
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